多模式联合学习(MFL)已成为一个分散的机器学习范式,以不同的方式与多种方式进行了不同的方式,以协作培训跨不同数据源的机器学习模型而无需共享私人数据。然而,挑战,例如数据的性质和严重缺失的方式,对MFL的稳健性构成了至关重要的障碍,这显着影响了全球模型的性能。缺乏方式在本地培训阶段引入了未对准,这是由于失踪方式的客户而零填充。因此,在全球模型中实现强大的生成变得必须是必须的,尤其是在与具有无数数据的客户打交道时。在本文中,我们提出了多模式联合横型原型学习(MFCPL),这是一种在严重错过模式下的新型方法,通过进行完整的原型类型,以与跨模式调节和模态特异性相反机械级别提供模态共享水平的多种模态知识。此外,我们的方法还引入了跨模式对齐方式,以提供特定于模态特异性的正规化,从而在涉及严重缺失模态的情况下提高了整体性能。通过在三个多模式数据集上进行广泛的实验,我们证明了MFCPL在缓解这些挑战并改善整体性能方面的效率。
主要关键词